Beliau telah kembali ke Rahmatullah ketika berusia 93 tahun pada hari Jumaat, 13 Oktober 1989, jam 8.30 pagi di Hospital Besar Ipoh, Perak. Jenazah beliau disemadikan di Tanah Perkuburan Islam Kampung Lubok Merbau, Kuala Kangsar, Perak, bersebelahan pusara isteri beliau, Khadijah binti Mohamad Idham yang telah meninggal dunia 14 bulan sebelum itu. Beliau telah meninggalkan seorang anak perempuan, tiga orang cucu dan tujuh orang cicit yang tinggal di Malaysia. Di samping itu beliau telah meninggalkan balu kedua, Hajjah Munirah binti Abdul Wahab yang menetap di Mesir.

Bagi mengenang jasa beliau, namanya telah diabadikan di sebuah kolej kediaman di Universiti Kebangsaan Malaysia dengan dikenali sebagai Kolej Idris al-Marbawi. Namanya juga diabadikan di sekolah tempat beliau menuntut ilmu di Kampung Lubok Merbau iaitu Sekolah Kebangsaan Syeikh Mohd Idris Al-Marbawi.